AWSでカオスエンジニアリング！ AWS Fault Injection Simulatorが利用可能になりました

森亮介

2021.03.16

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

2021/03/15より、AWS Fault Injection Simulator(FIS)の利用が可能になりました。

アジア太平洋（大阪）と中国の2つのリージョンを除くすべての商用AWSリージョンで利用できます。

AWS Fault Injection Simulatorとは、 AWSでフォールトインジェクション実験を実行するためのフルマネージドサービスです。フォールトインジェクション実験はカオスエンジニアリングで使用されます。フォールト(障害)を意図的に発生させることでシステムに何が起こるのかを確認する、障害にどのように反応するかを学ぶ事によりシステムの回復力、信頼性、パフォーマンスをあげていくことが目的です。

FISを使うとモニタリングの死角、パフォーマンスのボトルネック、またはその他の「未知の」弱点を簡単に見つけることができるとされています。

FISでのフォールトインジェクション実験は、特定のAWSリソースのセットを対象とし、それらに対して一連のアクションを実行することです。現在サポートされているリソースは、

Amazon Elastic Compute Cloud（EC2）
Amazon Elastic Container Service（ECS）
Amazon Elastic Kubernetes Service（EKS）
Amazon Relational Database Service（RDS）

です。また、SystemsManagerでコマンドを実行するアクションも用意されています。

料金は、アクションが実行される分数に基づいており、2つ以上のアクションが並行して実行される場合は追加料金はかかりません。

主要なリソースのアクションは？

では、主要なリソースのアクションの詳細を詳しく見てみます。

以下のドキュメントを参考にしました。

Amazon Elastic Compute Cloud（EC2）に行える実験

aws：ec2：reboot-instances
- 指定されたEC2インスタンスを再起動する
aws：ec2：stop-instances
- 指定されたEC2インスタンスを停止する
aws：ec2：terminate-instances
- 指定されたEC2インスタンスを終了する

Amazon Elastic Container Service（ECS）に行える実験

aws：ecs：drain-container-instances
- クラスター上の基になるEC2インスタンスの割合を排出する
- ECS APIのUpdateContainerInstancesStateが実行されます

Amazon Elastic Kubernetes Service（EKS）に行える実験

aws：eks：terminate-nodegroup-instance
- クラスター上の基になるEC2インスタンスをパーセンテージ指定で終了させます

Amazon Relational Database Service（RDS）に行える実験

aws：rds：failover-db-cluster
- 指定したDBクラスターをフェイルオーバーさせます
aws：rds：reboot-db-instances
- 指定したDBインスタンスを再起動する

SystemsManagerで行える実験

aws：ssm：send-command
- 指定したssmドキュメントを実行する

プロセスを落とす、メモリーにストレスを与える、ネットワークレイテンシーを発生させるドキュメントを実行するアクションも用意されていました。

FISで行える実験

aws：fis：inject-api-internal-error
- 特定の呼び出しもととオペーレーションの内部エラーを返す
aws:fis:inject-api-throttle-error
- 特定の呼び出しもととオペーレーションに対してスロットルエラーを返す
aws:fis:inject-api-unavailable-error
- 特定の呼び出しもととオペーレーションに対して,使用できないというエラーを返す

FISでの実験のやり方

実験テンプレートの作成 -> 実験を行う　といった流れになりますが、下準備も必要です

計画

実験を行う前には実験計画を立てる必要がありますが、今回は割愛します。以下のドキュメントでも詳しく記載されているので参考にしましょう。

IAMの設定

FISを使用する際、以下の権限が必要となりますので設定しておきましょう

IAMユーザーにFISを使用する権限を付与

FISコンソールとAPIアクションへのフルアクセス

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "FISPermissions",
            "Effect": "Allow",
            "Action": [
                "fis:*"
            ],
            "Resource": "*"
        },
        {
            "Sid": "ReadOnlyActions",
            "Effect": "Allow",
            "Action": [
                "ssm:Describe*",
                "ssm:Get*",
                "ssm:List*",
                "ec2:DescribeInstances",
                "rds:DescribeDBClusters",
                "ecs:DescribeClusters",
                "ecs:ListContainerInstances",
                "eks:DescribeNodegroup",
                "cloudwatch:DescribeAlarms",
                "iam:ListRoles"
            ],
            "Resource": "*"
        },
        {
            "Sid": "IAMPassRolePermissions",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "<< arn:aws:iam::111122223333:role/roleName >>"
        },
        {
            "Sid": "PermissionsToCreateServiceLinkedRole",
            "Effect": "Allow",
            "Action": "iam:CreateServiceLinkedRole",
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "iam:AWSServiceName": "fis.amazonaws.com"
                }
            }
        }
    ]
}

FISサービスのIAMロールを設定

FISサービスがユーザーに代わってアクションを実行する権限を付与するIAMロールを指定する必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowFISExperimentRoleReadOnly",
            "Effect": "Allow",
            "Action": [
                "ec2:DescribeInstances",
                "ecs:DescribeClusters",
                "ecs:ListContainerInstances",
                "eks:DescribeNodegroup",
                "iam:ListRoles",
                "rds:DescribeDBInstances",
                "rds:DescribeDbClusters",
                "ssm:ListCommands"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowFISExperimentRoleEC2Actions",
            "Effect": "Allow",
            "Action": [
                "ec2:RebootInstances",
                "ec2:StopInstances",
                "ec2:StartInstances",
                "ec2:TerminateInstances"
            ],
            "Resource": "arn:aws:ec2:*:*:instance/*"
        },
        {
            "Sid": "AllowFISExperimentRoleECSActions",
            "Effect": "Allow",
            "Action": [
                "ecs:UpdateContainerInstancesState",
                "ecs:ListContainerInstances"
            ],
            "Resource": "arn:aws:ecs:*:*:cluster/*"
        },
        {
            "Sid": "AllowFISExperimentRoleEKSActions",
            "Effect": "Allow",
            "Action": [
                "ec2:TerminateInstances"
            ],
            "Resource": "arn:aws:ec2:*:*:instance/*"
        },
        {
            "Sid": "AllowFISExperimentRoleFISActions",
            "Effect": "Allow",
            "Action": [
                "fis:InjectApiInternalError",
                "fis:InjectApiThrottleError",
                "fis:InjectApiUnavailableError"
            ],
            "Resource": "arn:*:fis:*:*:experiment/*"
        },
        {
            "Sid": "AllowFISExperimentRoleRDSReboot",
            "Effect": "Allow",
            "Action": [
                "rds:RebootDBInstance"
            ],
            "Resource": "arn:aws:rds:*:*:db:*"
        },
        {
            "Sid": "AllowFISExperimentRoleRDSFailOver",
            "Effect": "Allow",
            "Action": [
                "rds:FailoverDBCluster"
            ],
            "Resource": "arn:aws:rds:*:*:cluster:*"
        },
        {
            "Sid": "AllowFISExperimentRoleSSMSendCommand",
            "Effect": "Allow",
            "Action": [
                "ssm:SendCommand"
            ],
            "Resource": [
                "arn:aws:ec2:*:*:instance/*",
                "arn:aws:ssm:*:*:document/*"
            ]
        },
        {
            "Sid": "AllowFISExperimentRoleSSMCancelCommand",
            "Effect": "Allow",
            "Action": [
                "ssm:CancelCommand"
            ],
            "Resource": "*"
        }
    ]
}

IAMロールには以下の信頼関係も必要です(FISサービスがロールを引き継ぐことを可能にする)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                  "fis.amazonaws.com"
                ]
            },
            "Action": "sts:AssumeRole",
            "Condition": {}
        }
    ]
}